在我之前的许多文章中，我已经详细地描述了如何配置如下的管道：

如果你想了解更多，请详细阅读文章：

在实际的使用中，Elastic Stack 中的各个组件极有可能不在同样的一个机器上。我们该如何保证数据在传输过程中的安全呢？我们需要确保在上图所示的每一个连接都是安全的。在今天的教程中，我将详述如何在考虑安全的情况下设置 Filebeat、Logstash、Elasticsearch 和 Kibana。我将在 Ubuntu OS 22.04 上安装最新的 Elastic Stack 8.7.0。Ubuntu OS 的 IP 地址为 192.168.0.9。

导入 Elasticsearch PGP 密钥：

确保安装了 apt-transport-https 包：

保存 Elasticsearch deb 存储库：

下载并安装 Elasticsearch：

Elasticsearch 版本 8.0 及更高版本安装时默认启用安全性。 默认 Elasticsearch 超级用户的密码，名为 elastic，在你安装 Elasticsearch 后生成。 你以后可以随时更改密码，但现在将其复制到某个安全的地方以备后用。

如果我们忘记了这个密码，我们可以使用如上所示的命令来进行修改：

修改 Elasticsearch 配置文件 /etc/elasticsearch/elasticsearch.yml 以匹配以下内容：

/etc/elasticsearch/elasticsearch.yml

你将需要取消注释某些设置。 我发现将初始配置文件重命名为 old.elasticsearch.yml（以供将来参考）并使用上述内容创建一个新配置文件会更容易。必须强调的一点是：cluster.initial_master_nodes 的配置必须是 node.name 里设置的值。

启用 Elasticsearch systemd 服务并启动它：

Elasticsearch 可能需要几秒钟才能启动。

有几种方法可以检查 Elasticsearch 是否正在运行：

上面显示 elasticsearch 服务是 active 的。它正在运行。

我们还可以通过一下的方法来查看日志：

我们可以通过检查 port 9200 是否为 open：

我们还可以使用如下的命令来查看发送到 Elasticsearch 的 HTTPS 请求：

如果我们能看到上面的输出就证明我们的 Elasticsearch 的安装是正确的。在上面，我们使用了 -k 来忽略自签名证书。完整的命令为：

我们还可以通过 journalctl 命令来进行查看：

我们使用如下的命令来安装 Kibana：

与上面的 Elasticsearch 配置类似，我建议重命名 /etc/kibana/kibana.yml 并创建一个包含以下内容的新配置文件：

/etc/kibana/kibana.yml

我们把 server.host 设置为："0.0.0.0"，这样确保 Kibana 也能被其它的服务器所访问。

接下来为 Kibana 创建注册 token：

接下来，运行 kibana-setup ：

该工具将提示你输入注册 token。 请注意，设置工具将修改 Kibana 配置文件，添加 elasticsearch.hosts 等设置。

然后你需要为 Kibana 生成加密密钥：

将打印的设置复制到 Kibana 配置文件。 它们将类似于以下内容：

我们有好几种方法来检查 Kibana 是否已经在运行：

上面显示 kibana 服务已经正在运行中。

我们还可以通过查看 kibana.log：

我们还可以通过 journalctl 命令来进行查看：

我们还可以通过检查 5601 端口来查看它是否已经被打开：

当然，我们可以打开地址 http://localhost:5601：

在上面，我们通过输入 elastic 用的密码来进行登录。

这样我们就完成了 Kibana 的安装了。

我们使用如下的命令来安装 Logstash：

首先，创建一个用于放置加密密钥的临时目录：

锁定对目录的访问：

更改为 Linux 超级用户 (sudo su) 并 cd 到目录。

安装 Elasticsearch deb 包时，会生成 CA 密钥和相应的证书。 用于 HTTP 加密的 CA 证书应该放在 /etc/elasticsearch/certs/http_ca.crt。 相应的密钥应该在 /etc/elasticsearch/certs/http.p12 中。 p12 文件受密码保护，密码存储在 Elastic 密钥库（磁盘上的文件）中。 以下是我们如何检索它：

我们需要记下上面命令生成的密码。这个密码将在下面使用到。

这是我希望用于为 logstash 实例（IP 是 Ubuntu OS 机器的 IP）生成密钥和证书（用于 TLS）的命令，它基于默认安装的 HTTP CA 作为信任根：

请注意上面的 IP 地址 192.163.0.9 是 Logstash 安装机器上的地址。在我们的配置中，它和 Elasticsearch 的地址是一样的。显然上面的操作是失败的，所以我们必须提取 HTTP CA 密钥并将其放在它自己的 p12 文件中。

我们首先将密钥转储到 PEM 文件中：

请在上面使用在上面步骤中得到的 xpack.security.http.ssl.keystore.secure_password 密码。

在你喜欢的文本编辑器中打开生成的 PEM 文件。 请注意，文件中确实有两个密钥。 我们对 friendlyName 称为 http_ca 的那个感兴趣。 从文件中删除行，以便你只剩下 http_ca 键。 你最终得到的应该如下所示：

我们把不感兴趣的部分删除。最后的文件就像上面的那样。下一步是将 CA 密钥打包到它自己的 p12 文件中：

上述命令将生成一个新的文件 http_ca_key.p12。

现在我们可以为 Logstash 实例生成一个密钥证书对：

同样地，我们需要输入从 xpack.security.http.ssl.keystore.secure_password 得到的密码。

从 logstash.p12 中提取 PEM 格式的密钥：

上述命令将生成 logstash.key 文件。

同时从 p12 文件中提取证书：

上述命令将生成 logstash.crt 文件。

除了 logstash 证书外，logstash.crt 还将拥有 CA 证书。 在文本编辑器中打开文件并删除 CA 证书。这样它只剩下如下的部分：

logstash.crt

在 /etc/logstash 和拷贝 logstash.key 和 logstash.crt 下创建一个名为 “certs” 的目录。

将 HTTP CA 证书也复制到目录中：

你可能需要修复 logstash 配置目录的权限，以确保 logstash 用户可以读取其内容，但任意用户不能：

注意：您可以通过传递 --pem 参数来指示 certutil 工具生成 zip 文件而不是 p12 文件，但我以这种方式生成的密钥由于某种原因被拒绝为无效：“File does not contain valid private key: /etc/logstash/certs/logstash.key”

以与服务器相同的方式为客户端计算机创建密钥证书对（改为指定客户端的 IP）：

上面的命令生成证书文件 client.p12。这个证书可以为一些客户端所使用，只要我们的证书里含有它的 IP 地址信息。

我们将使用基本身份验证在 Logstash 和 Elasticsearch 之间进行通信。 为此，我们将设置一个新的 Elasticsearch 角色和用户。在我之前的很多演示中，为了方便和快捷，我使用超级用户 elastic 来配置 Logstash。在实际的使用中，这种是不建议使用的，因为超级用户 elastic 具有更多的权限。我们不希望这样的用户权限被广泛使用及泄露。

导航到 Kibana 中的 Management > Roles UI。 单击右上角的 Create Role 按钮。 将新角色命名为 logstash_writer。 对于集群权限，添加manage_index_templates 和 monitor。 对于索引权限（cluster privileges），添加 write、create 和 create_index。 默认情况下，我们将拥有的设置将使用名为 logs-generic-default 的索引，因此我们希望通过指定与索引名称匹配的模式来确保新角色可以访问它。

接下来，导航到用户 UI，创建一个名为 logstash_internal 的新用户并为其分配 logstash_writer 角色。 对于本教程，我们将为用户使用密码 “demo-password”。 

这样就完成了 logstash_internal 用户的创建。

修改 /etc/logstash/logstash.yml 以匹配以下内容：

/etc/logstash/logstash.yml

对于本教程，我们希望将所有系统日志消息从客户端计算机转发到 Elasticsearch。使用以下内容在 /etc/logstash/conf.d/beats.conf 中创建一个文件：

/etc/logstash/conf.d/beats.conf

Logstash 附带一些内置的 Grok 模式，你可以在 logstash-plugins Github 存储库中找到这些模式：github.com/logstash-pl…。 SYSLOGLINE（在上面的配置中）是内置模式之一。

默认情况下，Ubuntu 上的系统日志条目具有上述日期过滤器中指定的格式（明显缺少年份）。 你可以修改格式以匹配客户端计算机上的系统日志时间戳。

我们打入如下的命令来启动 Logstash：

要查看 Logstash 是否正在运行，你可以：

我们还可以检查它的日志文件：

我们还可以使用 journalctl 命令来进行检查：

我们还可以通过检查 5044 端口是否已经开启：

在客户端机器上运行以下命令安装 Filebeat（大部分与步骤 1 相同）：

在本示例中，出于方便，我们还是将 Filebeat 安装于另外一个机器上，并且它的 IP 地址是 192.168.0.3。这个 IP 地址和 Logstash 安装的 IP 有所不同。

将上面生成的 client.p12 文件复制到客户端机器。 像以前一样提取密钥和证书：

由于 client.crt 将同时包含 CA 和客户端证书，因此你需要将它们分离到不同的文件中。 将 CA 证书复制到名为 http_ca.crt 的文件中。

在 /etc/filebeat 下创建一个名为 certs 的目录，并将密钥和证书复制到那里：

修改 /etc/filebeat/filebeat.yml 使其内容与以下内容匹配：

/etc/filebeat/filebeat.yml

上面的配置将系统日志消息转发到 Elasticsearch 服务器。 默认情况下，/var/log/syslog 的所有现有内容将在 Filebeat 第一次运行时发送到 Elasticsearch，因此如果你认为文件太大，你可能需要轮换该文件。

我们使用如下的命令来启动 Filebeat：

你可以使用 journalctl 检查 Filebeat 是否正在运行：

当然，你也可以使用如下的命令来检查 Filebeat：

如果一切正常，名为 logs-generic-default 的数据流应该出现在 Kibana 的 Management> Data > Index Management > Data Streams。

你还应该能够在 Logs > Stream UI 中看到来自客户端的一些系统日志消息：

不要忘记清理密钥和证书的临时副本。

至此，我们完成了整个数据管道 Filebeat => Logstash => Elasticsearch 的所有安全连接。它们之间的连接都采用 TLS 认证。